We report the result of the first edition of the WMT shared task on Translation Suggestion (TS). The task aims to provide alternatives for specific words or phrases given the entire documents generated by machine translation (MT). It consists two sub-tasks, namely, the naive translation suggestion and translation suggestion with hints. The main difference is that some hints are provided in sub-task two, therefore, it is easier for the model to generate more accurate suggestions. For sub-task one, we provide the corpus for the language pairs English-German and English-Chinese. And only English-Chinese corpus is provided for the sub-task two. We received 92 submissions from 5 participating teams in sub-task one and 6 submissions for the sub-task 2, most of them covering all of the translation directions. We used the automatic metric BLEU for evaluating the performance of each submission.

基于稳定性的概念，我们研究嘈杂随机迷你批量迭代算法的泛化界限。近年来，基于稳定性（Mou等，2018; Li等，2020）和信息理论方法（Mou等，2018）和信息理论方法（徐和Raginsky，2017; Negrea等，2019年; Steinke和Zakynthinou，2020; Haghifam等，2020）。在本文中，我们统一和基本上概括了基于稳定的泛化范围，并进行了三个技术进步。首先，我们在预期（不统一）稳定性方面绑定了一般噪声随机迭代算法（不一定梯度下降）的泛化误差。预期的稳定性又可以通过LE凸轮风格的偏差界定。与o（1 / \ sqrt {n}）的许多现有范围不同，这种界限具有O（1 / n）样本依赖性。其次，我们介绍指数族族朗文动力学（EFLD），这是SGLD的大量概括，其允许与随机梯度下降（SGD）一起使用的指数家庭噪声。我们为一般EFLD算法建立基于数据相关的预期稳定性的泛化界。第三，我们考虑一个重要的特殊情况：EFLD的一个重要特殊情况：嘈杂的符号-SGD，它使用{-1，+ 1}的Bernoulli噪声扩展标志SGD。 EFLD的危识符号的泛化界限暗示了EFLD的暗示，我们还建立了算法的优化保证。此外，我们在基准数据集中呈现实证结果，以说明我们的界限与现有界限不上且定量。

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

基于观察到的图，对在关系结构数据上应用机器学习技术的兴趣增加了。通常，该图并不能完全代表节点之间的真实关系。在这些设置中，构建以观测图为条件的生成模型可以考虑图形不确定性。各种现有技术要么依赖于限制性假设，无法在样品中保留拓扑特性，要么在较大的图表中昂贵。在这项工作中，我们介绍了用于通过图形构建分布的节点复制模型。随机图的采样是通过替换每个节点的邻居的邻居来进行采样的。采样图保留图形结构的关键特征，而无需明确定位它们。此外，该模型的采样非常简单，并与节点线性缩放。我们在三个任务中显示了复制模型的有用性。首先，在节点分类中，基于节点复制的贝叶斯公式在稀疏数据设置中实现了更高的精度。其次，我们采用建议的模型来减轻对抗攻击对图形拓扑的影响。最后，将模型纳入推荐系统设置，改善了对最新方法的回忆。

在大多数现实世界中的推荐方案中，多种行为（例如，单击，添加到购物车，采购等）的多类型，这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性，因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是，不同的行为可能反映了用户偏好的不同方面，这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性，我们向多行为建议介绍了多功能学习。更具体地说，我们提出了一种新颖的粗到五个知识增强的多功能学习（CKML）框架，以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块，即粗粒兴趣提取（CIE）和细粒度的行为相关性（FBC），它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案，以在兴趣之间进一步分配每个行为。此外，我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。

隐式反馈经常用于开发个性化的推荐服务，因为其无处不在和现实世界中的可访问性。为了有效地利用此类信息，大多数研究都采用成对排名方法对构建的培训三胞胎（用户，正面项目，负项目），并旨在区分每个用户的正面项目和负面项目。但是，这些方法中的大多数都同样对待所有训练三胞胎，这忽略了不同的正或负项目之间的微妙差异。另一方面，即使其他一些作品利用用户行为的辅助信息（例如，停留时间）来捕获这种微妙的差异，但很难获得这样的辅助信息。为了减轻上述问题，我们提出了一个名为Triplet重要性学习（TIL）的新型培训框架，该框架可以自适应地学习训练三胞胎的重要性得分。我们为重要性得分生成的两种策略设计了两种策略，并将整个过程作为双层优化，这不需要任何基于规则的设计。我们将提出的训练程序与基于图形神经网络（GNN）基于图形的推荐模型的几个矩阵分解（MF）集成在一起，证明了我们的框架的兼容性。通过使用与许多最先进方法的三个现实世界数据集进行比较，我们表明我们所提出的方法在top-k推荐方面的召回@k方面优于3-21 \％的最佳现有模型。

我们提供了使用Biaffine模型的神经话语依赖性解析的研究，并与基线解析器相比实现了显着的性能改进。我们比较了Eisner算法和Chu-Liu-Edmonds算法在任务中，发现使用Chu-Liu-edmonds算法生成更深的树木并实现更好的性能。我们还评估解析器的输出的结构，具有平均最大路径长度和叶节点的平均比例，并发现解析器生成的依赖性树靠近金树。由于语料库允许非投射结构，我们分析了语料库的非投射性的复杂性，并发现该语料库中的依赖性结构最多具有最多一个和边缘度的差距程度。

机器学习在数据通信网络中信息流动的动态分析的各种模型中获得了增长的势头。这些初步模型通常依赖于货架上的学习模型来预测历史统计，同时忽视管理这些流动的产生行为的物理。本文介绍了流动神经网络（FlONNN），以改善具有学习物理偏差的特征表示。这由在嵌入层上工作的感应层来实现，以施加物理连接的数据相关，以及具有停止梯度的自我监督的学习策略，以使学习的物理通用。对于短时间性的网络预测任务，Flownn实现了17％ - 71％的损失减少，而不是合成和现实世界网络数据集的最先进的基线，这表明了这种新方法的强度。代码将可用。

目前有技术节点缩放，早期设计阶段的精确预测模型可以显着降低设计周期。特别是在逻辑合成期间，预测由于逻辑组合不当导致的细胞拥塞可以减少后续物理实现的负担。已经尝试使用图形神经网络（GNN）技术来解决逻辑合成阶段的拥塞预测。然而，它们需要信息性小区特征来实现合理的性能，因为GNN的核心概念构建在消息通过框架上，这在早期逻辑合成阶段将是不切实际的。为了解决这个限制，我们提出了一个框架，可以直接学习给定网表的嵌入式，以提高节点功能的质量。基于流行的随机播放的嵌入方法，如Node2VEC，LINE和DeadWalk遭受横绘对齐和普遍性的问题，以取消差价，效率低于性能和成本耗费的运行时。在我们的框架中，我们介绍了一种卓越的替代方案，可以获得可以使用矩阵分解方法概括在网表图中的节点嵌入。我们在子图水平上提出了一种高效的迷你批量培训方法，可以保证并行培训并满足大规模网手册的内存限制。我们呈现利用开源EDA工具的结果，如Dreamplace和OpenORAD框架上的各种公开的电路。通过将学习的嵌入在网手册的顶部与GNN结合，我们的方法可以提高预测性能，推广到新电路线，并且在训练中具有高效，潜在节省超过$ 90 \％运行时。

Benefiting from the intrinsic supervision information exploitation capability, contrastive learning has achieved promising performance in the field of deep graph clustering recently. However, we observe that two drawbacks of the positive and negative sample construction mechanisms limit the performance of existing algorithms from further improvement. 1) The quality of positive samples heavily depends on the carefully designed data augmentations, while inappropriate data augmentations would easily lead to the semantic drift and indiscriminative positive samples. 2) The constructed negative samples are not reliable for ignoring important clustering information. To solve these problems, we propose a Cluster-guided Contrastive deep Graph Clustering network (CCGC) by mining the intrinsic supervision information in the high-confidence clustering results. Specifically, instead of conducting complex node or edge perturbation, we construct two views of the graph by designing special Siamese encoders whose weights are not shared between the sibling sub-networks. Then, guided by the high-confidence clustering information, we carefully select and construct the positive samples from the same high-confidence cluster in two views. Moreover, to construct semantic meaningful negative sample pairs, we regard the centers of different high-confidence clusters as negative samples, thus improving the discriminative capability and reliability of the constructed sample pairs. Lastly, we design an objective function to pull close the samples from the same cluster while pushing away those from other clusters by maximizing and minimizing the cross-view cosine similarity between positive and negative samples. Extensive experimental results on six datasets demonstrate the effectiveness of CCGC compared with the existing state-of-the-art algorithms.